道路网络的图结构对于自动驾驶系统的下游任务，例如全球计划，运动预测和控制至关重要。过去，公路网络图通常由人类专家手动注释，这是耗时且劳动力密集的。为了获得更好的有效性和效率的道路网络图，需要进行自动的路网图检测方法。先前的作品要么是后处理的语义分割图，要么提出基于图的算法以直接预测道路网络图。但是，以前的作品遭受了硬编码的启发式处理算法和劣质最终性能。为了增强先前的SOTA（最新方法）方法RNGDET，我们添加了一个实例分割头，以更好地监督模型培训，并使模型能够利用骨干网络的多尺度功能。由于新提出的方法从RNGDET改进，因此命名为RNGDET ++。所有方法均在大型公开数据集上进行评估。 RNGDET ++在几乎所有度量分数上都优于基线模型。它将拓扑正确性APL（平均路径长度相似性）提高了3 \％。演示视频和补充材料可在我们的项目页面\ url {https://tonyxuqaq.github.io/projects/rngdetplusplus/}中获得。
translated by 谷歌翻译
安全与其他交通参与者的互动是自动驾驶的核心要求之一，尤其是在交叉点和遮挡中。大多数现有的方法都是为特定场景设计的，需要大量的人工劳动参数调整，以应用于不同情况。为了解决这个问题，我们首先提出了一个基于学习的交互点模型（IPM），该模型描述了代理与保护时间和交互优先级之间的相互作用以统一的方式。我们将提出的IPM进一步整合到一个新颖的计划框架中，通过在高度动态的环境中的全面模拟来证明其有效性和鲁棒性。
translated by 谷歌翻译
随着自动驾驶汽车的快速发展，目击者对高清地图（HD地图）的需求蓬勃发展，这些地图（HD地图）在自主驾驶场景中提供了可靠且强大的静态环境信息。作为高清图中的主要高级元素之一，道路车道中心线对于下游任务（例如预测和计划）至关重要。人类注释器手动注释车道中心线高清图是劳动密集型，昂贵且效率低下的，严重限制了自动驾驶系统的广泛应用和快速部署。以前的工作很少探索中心线高清图映射问题，这是由于拓扑复杂和道路中心线的严重重叠问题。在本文中，我们提出了一种名为CenterLinedet的新方法，以自动创建Lane Centrine HD地图。通过模仿学习对CenterLinedet进行训练，并可以通过使用车辆安装的传感器进行迭代有效地检测到车道中心线的图。由于应用了类似DITR的变压器网络，CenterLinedet可以处理复杂的图形拓扑，例如车道相交。在大型公开数据集Nuscenes上评估了所提出的方法，并通过比较结果很好地证明了CenterLinedet的优势。本文附有一个演示视频和一个补充文档，可在\ url {https://tonyxuqaq.github.io/projects/centerlinedet/}中获得。
translated by 谷歌翻译
机器人正在集成更大尺寸的模型以丰富功能并提高准确性，从而导致控制力计算压力。因此，机器人在计算功率和电池容量中遇到瓶颈。雾或云机器人技术是解决这些问题的最期待的理论之一。云机器人技术的方法已从系统级到节点级别开发。但是，当前的节点级系统不够灵活，无法动态适应变化的条件。为了解决这个问题，我们提出了Elasticros，该Elasticros将当前的节点级系统演变为算法级别。 Elasticros基于ROS和ROS2。对于FOG和Cloud Robotics，它是第一个具有算法级协作计算的机器人操作系统。 Elasticros开发弹性协作计算，以实现对动态条件的适应性。协作计算算法是Elasticros的核心和挑战。我们抽象问题，然后提出一种称为Elasaction的算法以解决。这是一种基于在线学习的动态行动决策算法，它决定了机器人和服务器的合作方式。该算法会动态更新参数，以适应机器人当前所在的条件的变化。它根据配置将计算任务的弹性分配到机器人和服务器上。此外，我们证明了弹性的遗憾上限是sublinear，它保证了其收敛性，因此使Elasticros在其弹性上保持稳定。最后，我们对机器人技术的常见任务进行了Elasticros进行实验，包括SLAM，GRASPING和HUMAN-OBOT对话，然后在延迟，CPU使用和功耗中测量其性能。算法级弹性弹性的性能明显优于当前的节点级系统。
translated by 谷歌翻译
组合多个传感器使机器人能够最大程度地提高其对环境的感知意识，并增强其对外部干扰的鲁棒性，对机器人导航至关重要。本文提出了可融合的基准测试，这是一个完整的多传感器数据集，具有多种移动机器人序列。本文提出了三项贡献。我们首先推进便携式和通用的多传感器套件，可提供丰富的感官测量值：10Hz激光镜点云，20Hz立体声框架图像，来自立体声事件相机的高速率和异步事件，来自IMU的200Hz惯性读数以及10Hz GPS信号。传感器已经在硬件中暂时同步。该设备轻巧，独立，并为移动机器人提供插件支持。其次，我们通过收集17个序列来构建数据集，该序列通过利用多个机器人平台进行数据收集来涵盖校园上各种环境。一些序列对现有的SLAM算法具有挑战性。第三，我们为将本地化和映射绩效评估提供了基础真理。我们还评估最新的大满贯方法并确定其局限性。该数据集将发布由原始传感器的设置，地面真相，校准数据和评估算法组成：https：//ram-lab.com/file/site/site/multi-sensor-dataset。
translated by 谷歌翻译
对地形信息有良好的了解对于改善复杂地形上各种下游任务的执行至关重要，尤其是对于腿部机器人的运动和导航。我们为神经城市地形重建提供了一个新颖的框架，并进行了不确定性估计。它通过稀疏的激光雷达观察结果在线生成密集的以机器人为中心的高程图。我们设计了一种新颖的预处理和点特征表示方法，可确保在整合多点云帧时确保高鲁棒性和计算效率。然后，贝叶斯gan模型恢复了详细的地形结构，同时提供了像素重建不确定性。我们通过广泛的模拟和现实世界实验评估了提议的管道。它在移动平台上展示了具有高质量和实时性能的有效地形重建，这进一步使腿部机器人的下游任务受益。 （有关更多详细信息，请参见https://kin-zhang.github.io/ndem/。）
translated by 谷歌翻译
受到人类使用多种感觉器官感知世界的事实的启发，具有不同方式的传感器在端到端驾驶中部署，以获得3D场景的全球环境。在以前的作品中，相机和激光镜的输入通过变压器融合，以更好地驾驶性能。通常将这些输入进一步解释为高级地图信息，以帮助导航任务。然而，从复杂地图输入中提取有用的信息很具有挑战性，因为冗余信息可能会误导代理商并对驾驶性能产生负面影响。我们提出了一种新颖的方法，可以从矢量化高清（HD）地图中有效提取特征，并将其利用在端到端驾驶任务中。此外，我们设计了一个新的专家，以通过考虑多道路规则来进一步增强模型性能。实验结果证明，两种提出的改进都可以使我们的代理人与其他方法相比获得卓越的性能。
translated by 谷歌翻译
道路网络图为自动驾驶应用程序提供关键信息，例如可用于运动计划算法的可驱动区域。为了找到道路网络图，手动注释通常效率低下且劳动密集型。自动检测道路网络图可以减轻此问题，但现有作品仍然存在一些局限性。例如，基于细分的方法无法确保令人满意的拓扑正确性，并且基于图的方法无法提供足够精确的检测结果。为了解决这些问题的解决方案，我们在本文中提出了一种基于变压器和模仿学习的新方法。鉴于当今世界各地可以轻松访问高分辨率航空图像，我们在方法中使用航空图像。作为输入的空中图像，我们的方法迭代生成道路网络图逐vertex。我们的方法可以处理复杂的交叉点，以及各种事件的道路细分。我们在公开可用的数据集上评估我们的方法。通过比较实验证明了我们方法的优势。我们的作品附有一个演示视频，可在\ url {https://tonyxuqaq.github.io/projects/rngdet/}中获得。
translated by 谷歌翻译
高清（HD）地图可以为自动驾驶提供静态交通环境的精确几何和语义信息。道路边界是高清地图中包含的最重要的信息之一，因为它区分道路地区和越野地区，可以引导车辆在道路区域内驾驶。但它是劳动密集型的，以向城市规模提供高清地图的道路边界。为了启用自动高清映射注释，当前工作使用语义分割或迭代图，用于道路边界检测。然而，前者无法确保拓扑正确性，因为它在像素级别工作，而后者遭受效率低下和漂流问题。为了提供上述问题的解决方案，在这封信中，我们提出了一个新的系统被称为CSBoundary，以便在城市规模上自动检测高清地图注释的道路边界。我们的网络将作为输入空中图像补丁的输入，并直接从此图像中递送连续的道路边界图（即顶点和边缘）。要生成城市规模的道路边界图，我们将从所有图像修补程序缝制所获得的图形。我们的CSBoundary在公共基准数据集中进行了评估并进行了比较。结果表明了我们的优越感。伴随的演示视频可在我们的项目页面\ url {https:/sites.google.com/view/csbound/}处获得。
translated by 谷歌翻译
现实世界数据通常存在长尾分布。对不平衡数据的培训倾向于呈现神经网络在头部上表现良好，而尾部课程则更加差。尾班的培训实例的严重稀疏性是主要挑战，这导致培训期间的偏见分配估计。丰富的努力已经致力于改善挑战，包括数据重新采样和综合尾班的新培训实例。然而，没有先前的研究已经利用了从头课程转移到尾班的可转让知识，以校准尾舱的分布。在本文中，我们假设可以通过类似的头部级别来丰富尾部类，并提出一种名为标签感知分布校准Ladc的新型分布校准方法。 Ladc从相关的头部课程转移统计数据以推断尾部课程的分布。从校准分布的采样进一步促进重新平衡分类器。图像和文本的实验和文本长尾数据集表明，LADC显着优于现有方法。可视化还显示LADC提供更准确的分布估计。
translated by 谷歌翻译